本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。
任务定义与手动任务定义有所区别,任务定义是工作流定义中的一个任务节点,而手动任务定义能够独立创建并执行。本文为您介绍如何创建并管理手动任务。
使用说明
手动任务能够独立创建并支持手动运行。
在工作流定义中,可以在任务节点中关联已经创建的手动任务。
创建并运行手动任务
创建的手动任务,支持在工作流定义中进行关联,具体操作请参见管理工作流定义。
进入项目管理页面。
使用阿里云账号(主账号)或RAM用户登录E-MapReduce控制台。
在左侧导航栏,选择EMR Workbench > Workflow。
在Workflow页面,单击目标工作空间操作列的控制台。
在左侧导航栏,选择数据开发 > 手动任务定义。
在手动任务定义页面,单击创建手动任务。
在弹出的对话框中,配置相关的参数,单击确定。
本文以SHELL任务类型为例,其他任务类型详情请参见任务类型。
参数
说明
任务名称
任务的名称。
任务类型
选择待创建的任务类型。
描述
当前节点的功能描述。
任务提交节点
调度资源组节点(默认):任务在Workflow的调度资源组节点提交。
EMR集群worker节点(提交到Yarn执行):任务在EMR集群的Worker节点提交,占用一个YARN Container。
警告该模式会直接影响EMR集群的文件系统或运行环境,请谨慎操作。
使用该模式,您还可以选择配置以下参数:
调度队列:指定任务提交的YARN队列。
任务执行容器内存(MB):指定任务执行容器的内存。默认值为1024。
虚拟核数:指定任务执行容器的虚拟核数(vCores)。默认值为1。
优先级:指定任务执行容器的优先级(0-100)。默认值为0,数值越大,优先级越高。
执行用户:默认提交任务的用户为dolphinscheduler。标准集群(非高安全集群),如果需要设置执行用户,请确保YARN服务包含如下配置项:
yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false
脚本
您自定义的Shell程序。
资源
任务执行时所需的资源文件。如果其他参数中引用了资源文件,需要选择在资源中心的文件管理页面,创建或者上传的文件。
自定义参数
任务自定义参数,会替换脚本中
${变量}
的内容。更多参数配置信息,请参见参数说明。在手动任务定义页面,单击目标任务操作列的运行。
在运行手动任务对话框中,选择已有的调度资源组,系统会根据您选定的调度资源组自动匹配执行集群,单击确定。
手动任务定义操作
在手动任务定义页面,您可以进行以下操作。
操作 | 说明 |
编辑 | 只能编辑未被上线状态的工作流关联的手动任务。 |
运行 | 运行当前手动任务。 |
删除 | 只能删除未被上线状态的工作流关联的手动任务。 |
手动任务实例操作
在手动任务实例页面,您可以进行以下操作。
操作 | 说明 |
停止 | 对正在运行的手动任务实例进行停止操作。 |
查看日志 | 查看日志信息。 |
相关文档
如果需要创建调度资源组,详情请参见管理调度资源组。